Quân đoàn 2 thành lập vào thời Nhật-Hoa chiến tranh (27 Tháng Chín 1984 đến 14 Tháng Năm 1895) dưới quyền chỉ huy của tướng Ōyama Iwao. Sau chiến cuộc, Quân đoàn 2 bị giải tán nhưng chưa trọn 10 năm sau khi Nhật-Nga chiến tranh (6 Tháng Ba 1904 đến 2 Tháng Giêng 1906) xảy ra thì chính phủ Nhật Bản cho tái lập Quân đoàn 2, lần này do tướng Oku Yasukata chỉ huy.

Quân đoàn 2 chủ lực trong các trận Nanshan Te-li-ssu, Tashihchiao, Liaoyang, Sandepu và Mukden ở Mãn Châu.

Quân đoàn 2 được tái phục lần thứ ba ngày 23 Tháng Tám 1937 để củng cố lực lượng quân Nhật trong cuộc xâm lăng Trung Hoa rồi giải thể 15 Tháng Chạp 1938.

Vào thời Đệ nhị Thế chiến Quân đoàn 2 lại được phục hồi, đặt bản doanh trên đảo Sulawesi ở Nam Dương.